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Beschreibung 

Lastverteilungsverf ahren eines Multiprozessorsystems und 
Multiprozessor system 

5 

Die Erfin'dung betrifft ein Verfahren zur Lastverteilung in 
einem Multiprozessorsystem, insbesondere in einem 
Multiprozessorsystem eines Kommunikat ions systems, bei dem 
anfallende Aufgaben von mehreren Prozessoren MPi (mit 
10 i=l, 2, . . . . ,n) unter Realzeitbedingungen abgearbeitet werden 
® konnen und ein Multiprozessorsystem, insbesondere eines 

Kommunikat ions systems, mit einem Lastverteilungsmechanismus . 

Ein ahnliches Verfahren zur Lastverteilung in einem 

15 Multiprozessorsystem, insbesondere in einem 

Multiprozessorsystem eines Kommunikat ions systems, ist 
beispielsweise aus der Europaischen Patentanmeldung EP 0 645 
702 Al der Anmelderin bekannt. Diese Schrift offenbart ein 
Verfahren zum Lastenausgleich in einem Multiprozessorsystem, 

20 insbesondere ein Multiprozessorsystem eines 

Kommunikat ionssys terns, bei dem anfallende Aufgaben von 
^ mehreren Prozessoren unter Realzeitbedingungen abgearbeitet 

werden konnen, wobei zur Durchftihrung des Lastausgleiches 
allgemein die folgenden Verf ahrensschritte genannt sind: 

25 - jeder Prozessor ermittelt seinen Lastzustand in Form einer 
quantif izierten GroBe, 

- jedem Prozessor werden die Lastzustande der anderen 
Prozessoren innerhalb eines Zeitrasters mitgeteilt, 

- jeder Prozessor gibt in Abhangigkeit vom Oberschreiten 
30 einer bestimmten GroBe seines Last zustandes und in 

Abhangigkeit von den Lastzustanden der ubrigen Prozessoren 
zumindest einen Teil der bei ihm anfallenden Aufgaben an die 
Ubrigen Prozessoren ab, und 
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- die abgegebenen Aufgaben werden entsprechend den 
Lastzustanden der ubrigen Prozessoren auf diese aufgeteilt. 

Im Ausfuhrungsbeispiel wird das Verfahren dahingehend 
5 konkretisiert, dafi im Betrieb standig und vor dem Einstieg in 
die Lastverteilung, die hier erst ab dem Erreichen einer 
bestimmten Uberlast beginnt, Verteilungsquoten errechnet 
werden, nach denen die einzelnen Prozessoren im Fall der 
Oberlast an andere Prozessoren ihre verteilbare Last abgeben. 

10 1st das System dauerhaft ungleichmafiig ausgelastet, so wird 
die Last erst bei Uberlast eines oder mehrerer Prozessoren 
verteilt. Damit geht aber unnotige Lastabwehr einher. Die 
Reduktion der Cberlastschwelle auf einen niedrigeren Wert 
ftihrt zu keinem bef riedigenden Ergebnis, well dann unnotig 

15 viel Last verteilt wird und es zu Schwingungs zus t anden kommen 
kann. Diese Situation ergibt sich aus der dort getroffenen 
Annahme, dafi die Oberlast oder die ungleichmafiige Belastung 
von kurzer Dauer ist. 

Es ist daher Aufgabe der Erfindung, ein verbessertes 
20 Lastverteilungsverf ahren fur ein Multiprozessorsystem 

anzugeben, welches rechtzeitig und "weich ,/ einsetzt und 
dadurch dauerhafte Schief lastzustande im Lastangebot ohne 
Lastabwehr bewaltigt. Aufierdem soil auch ein entsprechendes 
Multiprozessorsystem angegeben werden. 

25 

Die Aufgabe wird einerseits durch ein Verfahren mit den 
Verfahrensschritten des ersten Verf ahrensanspruches und 
andererseits durch ein Multiprozessorsystem mit den Merkmalen 
des ersten Vorrichtungsanspruches gelost. 



Demgemafi schlagen die Erfinder ein Verfahren zur 
Lastverteilung in einem Multiprozessorsystem, insbesondere in 
einem Multiprozessorsystem eines Kommunikat ions systems, bei 
dem anfallende Aufgaben von mehreren Prozessoren MPi (mit 
35 i=l, 2, . . . . ,n) unter Realzeitbedingungen abgearbeitet werden 
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konnen, mit folgenden iterativen und sich in Zeitintervallen 

CI wiederholenden Verf ahrensschritten vor: 

jeder Prozessor MPi ermittelt seinen tatsachlichen 
Lastzustand Yi - bestimmt gegebenenf alls direkt hieraus 
5 einen mehrwertigen Laststatus (load state) MPlsi - und 

schatzt in Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten q ± (alt) (mit qi=an andere Prozessoren 
MP k nach Moglichkeit zu verteilender Lastanteil) und 
dem typischerweise verteilbaren Anteil V einer typischen 
10 Aufgabe seine angebotene Last Ai, die zu einem 

mehrwertigen Lastindikationswert (Balancing Indicator) 
MPbii fuhrt, 

jeder Prozessor MPi teilt seinen Lastindikationswert 
MPbii den jeweils anderen Prozessoren MP k (mit 

15 k=l, 2, . . -i-1, i+1, n) mittelbar oder unmittelbar mit, 

- jeder Prozessor MPi bestimmt seine 

Lastverteilungsf aktoren p i:J (mit j=l,2,....n) in 
Abhangigkeit von den Lastindikationswerten MPbi k dieser 
anderen Prozessoren MP k , 

20 - jeder Prozessor MP± bestimmt seine Verteilungsquote 
qi(neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Yi und den Lastverteilungsf aktoren p Aj 
jeder Prozessor MPi verteilt anhand seiner Quote qi und 
seiner Lastverteilungsf aktoren seine verteilbare 

25 Last an andere Prozessoren MP k , wenn seine 

Verteilungsquote q± (neu) einen vorgegebenen Wert q v 
Uberschreitet . 

Zur Abschatzung der angebotenen Last Ai eines Prozessors MPi 
30 ist es vorteilhaft, die Formel Ai : =Y±/ ( 1-qiV) zu verwenden. 

Vorteilhaft ist auch eine Unterteilung des mehrwertigen 
Lastindikationswertes (balancing indicator) MPbii in drei 
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diskrete Werte, wobei vorzugsweise die folgende Abgrenzung 
mit Schwellenwerten gilt: NORMAL fur MPbii, wenn die 
Prozessorauslastung 0 bis 70% betragt, HIGH fur MPbi i# wenn 
die Prozessorauslastung 70% bis 85% betragt, und OVERLOAD fur 
MPbii, wenn die Prozessorauslastung uber 85% betragt. 

Vorteilhaft ist es auch, wenn eine Hysterese bei 
Lastzustandswechsel aufgrund von Schwellenwerttiberschreitung 
oder Schwellenwertunterschreitung bei steigender oder 
fallender Prozessorauslastung eingefuhrt wird. 

Aufierdem kann es vorteilhaft sein, wenn der 
Lastindikationswert (balancing indicator) MPbii bezuglich 
Anderungen einer zeitlichen Hysterese unterliegt und damit 
eine gewisse Tragheit erfahrt. Als Hysteresegrenze konnen 
vorteilhaft Werte von 1 bis 2 Zeitintervallen CI angenommen 
werden. 

Bezuglich des mehrwertigen Laststatus (load state) MPlsi wird 
als besonders bevorzugt die Annahme von vier diskreten Werten 
vorgeschlagen, wobei vorzugsweise angenommen wird: NORMAL fur 
MPlSi, wenn die Prozessorauslastung unter 7 0% liegt, HIGH fur 
MPls i# wenn die Prozessorauslastung 70% bis 85%, OVERLOAD fur 
MPlSi, wenn die Prozessorauslastung uber 85% liegt und 
EXTREME fur MPlSi, wenn dauerhaft der Lastzustand OVERLOAD 
vorherrscht. Auch hier kann es vorteilhaft sein, wenn der 
Laststatus (load state) MPlsi bezuglich Anderungen einer 
Hysterese unterliegt. Als Hysteresegrenze konnen vorteilhaft 
Werte von 1 bis 2 Zeitintervallen CI angenommen werden. 



Weitere vorteilhafte Annahmen bei der Durchfiihrung des 
erfindungsgemafien Verfahrens sind: der typische verteilbare 
Anteil V einer typischen Aufgabe soil der durchschnittliche 
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oder maximale Anteil sein unci als typische Bearbeitungszeit 
einer Aufgabe soil eine durchschnittliche oder maximale 
Bearbeitungszeit einer Aufgabe angenommen werden. 
Vorteilhaft kann hierbei der jeweilige Durchschnittswert oder 
Maximalwert eines Anteils beziehungsweise einer Aufgabe auch 
wahrend der Betriebszeit standig ermittelt und gegebenenf alls 
als gleitender Wert mitgefuhrt und aktualisiert in das 
Lastverteilungsverf ahren ubernommen werden. Gunstig ist es 
hierbei, wenn die Zeitdauer, uber die die gleitenden Werte 
ermittelt werden, groB gegenuber dem Kontrollintervall CI 
ist. 

Besonders vorteilhaft ist es auch, wenn fiir den vorgegebenen 
Wert q v der Verteilungsquote q ± , ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP k verteilt, gilt: 
0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, vorzugsweise q v =0,2. 

Weiterhin kann das erf indungsgemaBe Verfahren besonders 
vorteilhaft ausgestaltet werden, wenn bei der Berechnung der 
Verteilungsquote q ± die folgenden Kriterien erfiillt werden: 
Pii := 0 

falls MPbij einer mittlere Last entspricht, vorzugsweise 
MPbij=NORMAL, gilt: Pij (neu) = pi j (alt ) +p ci /n / fur 

j=l , . . . , n und i*j 

falls MPbij einer hohen Last entspricht, vorzugsweise 
MPbij=HIGH gilt: p i3 (neu) - pi j (alt ) -p c2 /n, fur j=l,...,n 
und i*j 

falls MPbij einer Oberlast entspricht, vorzugsweise 
MPbi 3 =OVERLOAD, gilt: pij (neu) = 0 

wobei vorzugsweise die p i:) u-i,..,n) niit der Summe p 5um der 
pij auf 1 normiert wird und 
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als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle p i:j , ausgenommen p ii; gleich 
sind. 

5 Als vorteilhafte Zahlenwerte konnen fur die Konstante p cl 

0,l<p c i<0,5, vorzugsweise 0,2<p c i<0,3 und vorzugsweise Pci=0,25 
angenommen werden. Ebenso ist es vorteilhaft fur die 
Konstante p c2 0,l<p c2 <0,5, vorzugsweise 0,2<p c2 <0,3, 
vorzugsweise p c2 =0,25 zu setzen. Auch kann der 
10 Initialisierungswert der p ±3 beim Beginn der 

Verteilungsprozesse gleich (n-l)" 1 gesetzt werden. 



Weiterhin kann das erf indungsgemaBe Verfahren besonders 
15 vorteilhaft ausgestaltet werden, wenn bei der Berechnung der 
Lastindikationswerte MPbii die folgenden Kriterien erfiillt 
werden: 

- falls MPlSi der hochsten Last entspricht, vorzugsweise 
MPlsi=EXTREME, gilt : qi (neu) =q c i, 
20 - falls psum ^ 1 gilt: 

falls der tatsachliche Lastzustand Yi grofcer als ein 
vorgegebener Wert threshold H ist, wird qi vergrofiert mit 
qi=min{qi+c q i, 1}, 

falls der tatsachliche Lastzustand Y ± kleiner als ein 
25 vorgegebene Wert threshold N ist, wird qi verkleinert mit 

qi=max{qi-c q2 , c q3 }, mit 0<c q3 <qv/ vorzugsweise c q3 =0,l, 
andernfalls (thresholdN £ Yi < threshold H ) erhalt qi 
einen Zwischenwert zwischen den beiden oben genannten 
Alternatives vorzugsweise durch lineare Interpolation 
30 - falls p sum < 1 gilt: qi (neu) =qi (alt ) * p SU m. 



Zur optimalen Ausgestaltung des Verfahrens sind fur die 
Konstante c qi die folgenden Zahlenbereiche und -werte 
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bevorzugt: 0, 05<c q i<0, 3, vorzugsweise 0 / l< c q i<0,2, 
vorzugsweise c q i=0,15. AuBerdem kann fur die Konstante c q2 
vorzugsweise 0, 05< c q2 <0,2, vorzugsweise c q2 =0,10 angenommen 
werden. 

5 

Bezuglich der Konstanten thresholds gilt als bevorzugter 
Wertebereich: 0, 6< thresholds <0 / 8 / vorzugsweise thresholds 
=0,7. 

10 Bezuglich der Konstanten threshold H gilt als bevorzugter 

Wertebereich: 0,7< threshold H <0, 95, vorzugsweise threshold H 
=0,85. 

Eine andere Ausgestaltung des erf indungsgemaBen Verfahrens 
15 sieht vor, dafi zusatzlich in jedem Zeitintervall CI ein 

Oberlastwert OLi der Prozessoren MPi ermittelt wird, der ein 
Mafi fur die GroBe der Oberlast ist und als Maflstab zur 

ttberlastabwehr dient, mit OLi=0, 1, m , und die 

Verteilungsquote qi auf jeden Fall vergrofiert wird, falls 
20 OLi>0 mit q± (neu) : =min{ qi (alt ) + c q i,l- 

Erf indungsgemaB besteht auch die Moglichkeit, eine Adaption 
des Lastverteilungsverfahrens an sich andernde 
Randbedingungen durchzufiihren, indem die oben angegebenen 
25 Konstanten (q v , Pci, Pc2, q<=i, q C 2, thresholds, thresholds, c ql , 
c q2 , c q3 ) im Betrieb zumindest teilweise angepaBt werden. 

ErfindungsgemaB wird auBerdem ein Multiprozessorsystem, 
insbesondere eines Kommunikat ions systems, mit mehreren 

30 Prozessoren MPi (mit i=l,2, n) zur Ausfuhrung anfallender 

Aufgaben unter Realzeitbedingungen, vorgeschlagen, wobei: 
jeder Prozessor MPi Mittel aufweist, urn seinen 
tatsachlichen Lastzustand Yi zu bestimmen, - 



GR 99 P 1082 



8 

gegebenenfalls direkt hieraus einen mehrwertigen 
Laststatus (load state) MPls± zu bestimmen - und in 
Abhangigkeit von zuvor mitgeteilten Verteilungsquoten 
qi(alt) (mit q ± =an andere Prozessoren MP k nach 
5 Moglichkeit zu verteilender Lastanteil) und dem 

typischerweise verteilbaren Anteil V einer typischen 
Aufgabe seine angebotene Last A± zu schatzen, die zu 
einem mehrwertigen Lastindikationswert (Balancing 
Indicator) MPbii fuhrt, 
10 - jeder Prozessor MP ± Mittel aufweist, um seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l, 2, . . .i-1, i+1, . . .n) mittelbar 
oder unmittelbar mitzuteilen, 

jeder Prozessor MP ± Mittel aufweist, um seine 
15 Lastverteilungswahrscheinlichkeiten p ±j (mit 

j=l,2,....n) in Abhangigkeit von den 

Lastindikationswerten MPbi k dieser anderen Prozessoren 
MPk zu bestimmen, 

jeder Prozessor MPi Mittel aufweist, um seine 
20 Verteilquote qi (neu) in Abhangigkeit von seinem 

tatsachlichen Lastzustand Y± zu bestimmen, und 
jeder Prozessor MPi Mittel aufweist, um anhand seiner 
Quote qi und seiner Lastverteilungsf aktoren p Aj seine 
verteilbare Last an andere Prozessoren MP k zu verteilen, 
25 wenn seine Verteilquote qi (neu) einen vorgegebenen Wert 

q v uberschreitet . 

Erf indungsgemafi kann das oben vorgeschlagene 
Multiprozessorsystem so ausgestaltet werden, dafi jeweils 
30 eines der oben genannten Verfahren implementiert ist, wobei 
die Implement ierung durch eine entsprechende Pro grammie rung 
der Prozessoren erfolgt. 
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Es ist noch darauf hinzuweisen, dafi der Index (alt) sich 
jeweils auf die Werte des vorhergehenden Iterationsschrittes, 
beziehungsweise der Index (neu) sich auf den jetzt aktuellen 
Iterationsschritt beziehen. 

5 

Der besondere Vorteil des erf indungsgemaBen Verfahrens und 
des entsprechenden Multiprozessorsystems liegt darin, dafi es 
im Gegensatz zum eingangs genannten Stand der Technik einen 
"weichen" Einstieg in die Lastverteilung gewahrleistet und 
10 dadurch anpassungsf ahiger , weniger anfallig gegen 

Schief lastsituationen ist und Schwingungszustande besser 
vermieden werden. Im Endeffekt wird hierdurch die 
Wahrscheinlichkeit fiir die Abwehr von Aufgaben, insbesondere 
Vermittlungsauf gaben reduziert. 



15 



20 



Weitere Ausgestaltungen, zusatzliche Merkmale und Vorteile 
der Erfindung ergeben sich aus der nachf olgenden Beschreibung . 
eines bevorzugten Ausf uhrungsbei spiels unter Bezugnahme auf 
die Z e i chnungen . 



Es versteht sich, daB die vorstehend genannten und 
nachstehend noch zu erlauternden Merkmale der Erfindung nicht 
nur in der jeweils angegebenen Kombination, sondern auch in 
anderen Kombinationen oder in Alleinstellung verwendbar sind, 
25 ohne den Rahmen der Erfindung zu verlassen. 

Die Figuren zeigen im einzelnen: 

Figur 1: FluBbild des anfallenden und verteilten 
30 Lastangebotes 

Figur 2a: Grafische Darstellung der Entscheidungen zur 

Aktualisierung der Lastverteilungsf aktoren pij 
Figur 2b: Grafische Darstellung der Entscheidungen zur 
Aktualisierung der Verteilungsquoten qi 
35 Figur 3: Formel zur linearen Interpolation von qi 
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Das erf indungsgemafle Verfahren (Normal Load Balancing=NLB) 
ist ein quotiertes Load Balancing Verfahren, das auf einem 
Multiprozessorsystem, insbesondere in einer 
Vermittlungsstelle eines Kommunikat ions systems, zur 
5 Verteilung anfallender Arbeitslasten auf die jeweils anderen 
Prozessoren ablauft und sicherstellen soil, dafi andauernde 
Schief lastsituationen bewaltigt und moglichst alle 
angeforderten Aufgaben in moglichst kurzer Zeit abgearbeitet 
werden. Nachfolgend soli eine besonders vorteilhafte 
10 Aus fiihrungs form dieses Verfahrens beschrieben werden. 

Auf jedem Prozessor MPi mit i=l,2,...,n wird eine 
Verteilquote qi gefuhrt, die den Anteil V der verteilbaren 
Last, der tatsachlich verteilt werden soil, festsetzt. Eine 

15 solche Quote ermbglicht einen weicheren Ein- beziehungsweise 
Ausstieg aus der Lastverteilung an andere Prozessoren. Auf 
diese Weise werden Schwingzustande und Lastschwankungen 
vermieden. Dies kann beispielsweise der Fall sein, wenn ein 
Prozessor so viel Last an einen anderen verteilt, daS dieser 

20 wiederum uberlastet wird. 

Die Verteilquote qi wird j edes Zeitintervall CI neu bestimmt. 
Die einzige Information, die jedes CI von den anderen 
Prozessoren MP k mit k=l , . . . i-1 , i+1 , . . . n benotigt wird, sind 

25 Lastwertindikatoren (Balancing Indikatoren) MPbii. Diese 

Lastwertindikatoren sind - ahnlich wie die Laststatuswerte 
(Load States) von der Load Control - Lastzustande mit den 
Wertigkeiten NORMAL, HIGH oder OVERLOAD. Wahrend der Load 
State anhand der tatsachlich bearbeiteten Last Y± des 

30 Prozessors MPi bestimmt wird, wird der Lastwertindikatoren 
MPbii aus einer Schatzung der aktuell angebotenen Last Ai 
ermittelt. Die geschatzte angebotene Last Ai kann durch 
Lastverteilung erheblich mehr als die tatsachlich bearbeitete 
Last Y± sein und stellt die mafigebliche Grofie dar, die (in 

35 Form des Lastwertindikators MPbii) ein Prozessor MPi den 
anderen MPk als Information zur Verfugung stellt. 
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Zusatzlich zur Verteilungsquote qi werden auf jedem MPi 
Wahrscheinlichkeiten p i3 gefuhrt, welche die 

Wahrscheinlichkeit angeben, daB bei Lastverteilung Last vom 
i-ten Prozessor MPi auf den j-ten Prozessor MP 5 ubertragen 
5 wird. Die Wahrscheinlichkeiten werden so bestimmt, daB, wenn 
etwa der j-te Prozessor MP^ schon viel Last zu bearbeiten hat 
und deshalb nur wenig zusatzliche Last aufnehmen kann, das 
zugehorige p ±j kleiner ist als das P ik fur einen freien MP k . 

10 In Figur 1 wird das Zusammenspiel der p i3 und qi 

veranschaulicht. Die doppelte Indizierung "ij" der KenngroBen 
besagt, daB jeweils der Prozessor mit der Nummer des ersten 
Index (hier i) jeweils eine "Spalte" von n Werten mit dem 
zweiten Index (hier j) kennt. Es ist zu bemerken, daB jeder 

15 Prozessor nur seine relevanten Werte (also seine Spalte) 
kennt, wobei insgesamt im System eine quadratische Matrix 
bekannt ist So ist zum Beispiel p i3 die Wahrscheinlichkeit, 
daB Last vom i-ten MP auf den j-ten MP verteilt wird, wenn 
der i-te MP zu viel Last hat. 

20 

In der Figur 1 ist auBerdem die tatsachlich bearbeitete Last 
des j-ten Prozessors MP} mit Y-,, die geschatzte angebotene 
Last mit Aj und der Teil des Lastangebotes, der verlagert 
werden kann, mit a bezeichnet. Die gezeigte Lastsituation ist 

25 Oberlast (OVERLOAD) auf MPi, auf den MP k mit k=2,3,4 ist noch 
Raum fur zusatzliche Aufgaben. Es wird gezeigt, wie der MPi 
einen ersten Teil der Last selbst bearbeitet und. den Rest a 
verteilt. Von diesem Rest a gent der groBte Anteil an MP 3 , 
der kleinste Anteil an MP 4 , der in diesem Beispiel also schon 

30 viel eigene Last zu bearbeiten hat. Nicht eingezeichnet sind 
die Lasten, welche die MP k auBer von MPi noch erhalten. Die 
Breite der FlieBbalken stellen ein MaB fiir die GroBe der Last 
dar . 

35 Gemafi dem Erf indungsgedanken ergibt sich also der folgende 
Algorithmus: Meldet der j-te Prozessor MPj den Balancing 
Indikator NORMAL, wird auf dem jeweils betrachteten MPi das 
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pi-j vergroBert. Es steigt also die Wahrscheinlichkeit, daB 



10 



i 15 



20 



25 



30 



dieser Prozessor MP ± Last an MP-j abgibt, wenn er Last 
verteilen mufi. Wird der Balancing Indikator HIGH geraeldet, so 
wird das pij verkleinert, Wird der Balancing Indikator 
OVERLOAD gemeldet, wird pij auf Null gesetzt, so daB keine 
Last an den j-ten Prozessor MP-j abgegeben wird. Die 
Verteilungsquote qi wird anschlieBend an die Bestimmung der 
p i: j verandert. Konnten viele der pij vergroBert werden, so ist 
die Surame der pij liber j groBer 1 und offenbar noch Platz auf 
den anderen Prozessoren MP k . Die Verteilungsquote qi kann 
also nach den Erf ordernissen des (betrachteten) Prozessors 
verandert werden. 

Bei hoher Last Y ± auf dem betrachteten Prozessor MPi wird die 
Verteilungsquote qi vergroBert, bei niedriger Last wird q± 
verkleinert. Sind viele der p±j verringert worden, dann ist 
die Summe der uber j kleiner 1 und die Verteilungsquote q ± 

mufi verringert werden. 

Eine Veranschaulichung dieser Entscheidungen ist in den 
Figuren 2a und 2b dargestellt. Die Entscheidungsdiagramme 
zeigen die Aktualisierungsalgorithraen fur p i:J (Figur 2a) und 
fur Verteilungsquote q± (Figur 2b), die jedes Zeitintervall 
CI fur den i-ten Prozessor MP ± durchgeftihrt werden. 



Bei dem erf indungsgemaBen Lastverteilungsverf ahren (NLB) 
werden einige Parameter (Konstanten) benotigt, deren Wahl das 
Verhalten in bestimmten Lastsituationen stark beeinflussen 
kann. Es ergibt sich in den meisten Fallen ein Konflikt 
zwischen einem Lastverteilungsverf ahren, das schnell auf 
Lastanderungen reagieren kann, und einem stabilen 
Lastverteilungsverf ahren, das nicht zu Schwingungen und zum 
Weiterverteilen von Aufgaben neigt. "Weiterverteilen" 
bedeutet hier das gleichzeitige Verteilen von eigener Last 
und das Bearbeiten von fremder Last auf einem Prozessor. 




Folgende Parameterveranderungen bewirken ein schneller 
reagierendes NLB: 
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Das starkere Verandern von qi mit: 0,15<c qi , 0,l<c q2 
Das starkere Verandern der p±j mit: 0 / 25<p c i/ 0,25<p c2 
Das spatere Setzen der Lastindikationswerte MPbi± mit: 
threshold H >0, 7 (d.h. erst bei hoherer Last 'HIGH' an die 
5 anderen Prozesssoren MPk melden) 

Detailliert verlauft das bevorzugte Verfahren bei einem 
Multiprozessor-Kommunikationsrechner also wie folgt: 

10 Als Dauer des Zeitintervalls (Kontrollintervall) CI des 
^ Zeitrasters, mit dem das Verfahren iterativ ablauft, wird bei 

den derzeit bekannten Multiprozessorsystemen der 
Vermittlungstechnik bevorzugt 1 bis 2 Sekunden gewahlt. Es 
ist selbstverstandlich, daB mit steigender Prozessorleistung 
15 das Zeitintervall gekurzt werden kann. 

Jedes Kontrollintervall CI werden die Grofien qi, p^, MPlSi 
und MPbij aktualisiert . 

20 Die tatsachlich bearbeitete Last Yi eines Prozessors MPi wird 
als Prozessorlauf zeitgrofie, gemessen in Erlang, ermittelt. 

A Die geschatzte angebotene Last Aj eines Prozessors MPi wird 

aus der Verteilquote qi des aktuellen Kontrollintervalls CI 
25 und dem geschatzten verteilbaren Anteil einer 

durchschnittlichen Aufgabe, zum Beispiel der Abarbeitung 
eines Calls, ermittelt - 

Es gilt: 

30 Die Anzahl der Prozessoren MPi im Multiprozessorsystem ist n. 

At := Yi/U-qiV), wobei V der verteilbare Anteil eines Calls 
ist . 

35 MPlsx: Load State des i-ten MPs, kann die Werte NORMAL, HIGH, 
OVERLOAD oder EXTREME annehmen. Zur Berechnung des Load 
States wird die tatsachlich bearbeitete Last Yi herangezogen. 

Pnmed:G8-02-2OOai [431 
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Zur Vermeidung von vorschnellen Anderungen des MPls± werden 
Hysteresen eingefuhrt. Wird etwa der MPlsi von NORMAL auf 
HIGH gesetzt, mufi Y ± > threshold^ + A+ sein, wohingegen, um 
von HIGH nach NORMAL zu kommen, Yi < thresholds - A. sein 
5 muB. Diese Vorgehensweise ist auch als High Water-Low Water 
Methode bekannt. Bei EXTREME mufi aus systemtechnischen 
Grunden der Vermittlungsstelle das Verteilungsverf ahren (Load 
Balancing) fur diesen Prozessor MP ± abgeschaltet werden. 

10 threshold^: Ist die Normallastschwelle - nach 

Beriicksichtigung einer Hysterese wird unterhalb dieser der 
MPls als NORMAL gefuhrt, oberhalb als HIGH. 

thresholds Hochlastschwelle - nach Beriicksichtigung einer 
15 Hysterese und einer lastabhangigen zeitlichen Verzogerung 

(Startindikator) wird unterhalb dieser Schwelle der MPls als 
HIGH gefuhrt, oberhalb als OVERLOAD. 

Der Lastindikationswert (Balancing Indikator) MPbi A des i-ten 
20 Prozessors MPi kann die Werte NORMAL, HIGH oder OVERLOAD 

annehmen. Dieser wird wie der MPlsi berechnet, nur wird hier 
anstelle der tatsachlichen Last Yi die geschatzte angebotene 
Last Ai zugrundegelegt und andere Werte fur A+ und A- 
genommen, mit A+ = A_ — 0.02. 

25 

Zusatzlich wird ein Overload Level OL± des Prozessors MPi 
bestimmt, der die Werte 0... 6 annehmen kann und als 
Quantif izierung des Uberlastzustandes des Prozessors MP A 
gedacht ist* Ist der OLi>0, werden Calls abgewehrt, je hdher 
30 der Wert, desto wahrscheinlicher wird ein Call abgewiesen. 

Die Last, die von MPi nach MP 3 verteilt werden soli, wird als 
Wahrscheinlichkeit p ±j ausgedriickt und kann somit Werte 
zwischen 0 und 1 annehmen. 



35 



Die Grofie des Wertes p ±j bestimmt sich durch folgende 
Kriterien: 
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Initialisiere p i3 mit p^r^n-l) 
Pii:= 0/ M p i so11 nicht an sich selbst verteilen. 
Falls MPbij=NORMAL: p 13 — > Pij + 0.25/n, j=l,...,n, 
i*j. Das alte p i3 kann vergroBert werden, weil auf 
dem Prozessor MPj noch Platz ist. 

Falls MPbij=HIGH : p Aj — > Pn - 0.25/n. Das alte p ±j 
mufi verkleinert werden, weil MPj voll ausgelastet 
ist. 

Falls MPbi ^OVERLOAD: Pij = 0. Es soil keine Last an 
uberlastete Prozessoren MP n abgeben werden. 

Die neu bestiiumten pij miissen noch normiert werden: 
Setze p S um = summetpij) tiber j = l , . - , n 
und normiere (falls p sum > 0) mit pij > Pij/p S um 



15 



AnschlieBend wird die Verteilungsquote q± mit den folgenden 

Kriterien bestimmt: 

Initialisierungswert : qi - 0.1 

Falls der MPls ± =EXTREME: q ± = 0.1- Dieser MP ist so 
20 stark uberlastet, daB ihn auch der Eigenanteil fur einen 

verteilten Call uberfordern wurde . Deshalb kein Load 

Balancing, sondern nur Abwehr; das Load Balancing ist 

zudem aus systemtechnischen Grunden der 

Vermittlungss telle nicht sinnvoll. 
25 _ Falls p S um > If kann offenbar mehr Last verteilt werden. 

Dann kann q t nach den Erf ordernissen des MPi bestimmt 

werden, mit: 

1. Falls der OLi > 0, q ± auf jeden Fall vergrofiern 
mit: q± — > min {qi + 0.15, 1} 
30 2. Falls Yi > thresholds qi vergrofiern mit: q± — > min 

{ qi + 0. 15, 1} 

3. Falls Yi < thresholds qi verkleinern mit: q± > 
max {q± - 0.10, 0.1} . 

4. Andernfalls, falls threshold N < Yi < threshold 

35 gilt: 

qi — >min{max{qi+ (0.25/ ( thresholds thresholds ) * (Yi- 

threshold«)-0.1, 0.1}, 1.0} 
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Dies ist die lineare Interpolation zwischen der 
obigen VergroBerung um 0.15 und der obigen 
Verkleinerung um 0.1. Die Formel ist nochmals in 
besser lesbarer Weise in der Figur 3 dargestellt. 

5 

Falls Psum< 1, wurde offenbar zuviel Last verteilt und qi 
muB verkleinert werden mit: q± — > q± * Psum- 

Der Prozessor MPi verteilt Last an andere Prozessoren 
10 MP k / wenn qi > 0.25 wird. 



Das erf indungsgemafie Verfahren weist somit die folgenden 
Eigenschaf ten und Vorteile auf : 



15 



Ein sehr geringer Inf ormat ions overhead zwischen den am 
Lastverteilungsverfahren beteiligten Prozessoren- Gegenseitig 
bekannt sind nur wenige, vorzugsweise dreiwertige 
Lastzustande, die nur einmal pro Kontrollintervall 
2 0 aktualisiert und verteilt werden. 

Fur jeden Prozessor gibt es eine Quote, die jedes 
Kontrollintervall aktualisiert wird und die den Anteil der 
Last regelt, die vom betrachteten Prozessor an die anderen 
25 beteiligten Prozessoren verteilt werden soli. 

Fur jeden Prozessor gibt es Einzelregulatoren, welche die zu 
verteilende Last auf die anderen Prozessoren aufteilen. 

30 Das Verfahren ist nicht nur als "FeuerwehrmaBnahme" 

konzipiert, das erst wirksam wird, wenn ein Prozessor in 
Uberlast gerat und gegebenenf alls Aufgaben (Calls) abgewehrt 
werden, sondern es setzt die Lastverteilung fruher und 
weicher ein. Dadurch konnen Dauerschief lastzustande besser 

35 und mit weniger abgewiesenen Aufgaben (Calls) verarbeitet 
werden. 



O 
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Im erf indungsgemafcen Verfahren werden die Lastzustande, die 
an die anderen Prozessoren verteilt werden, konsequent anhand 
der geschatzten angebotenen Last und nicht anhand der 
tatsachlich bearbeiteten Last ermittelt. 

5 

Das Verfahren benotigt kein Load Balancing Flag, das den 
Einstieg in die Lastverteilung regelt. Der Einstieg wird uber 
die Verteilquote qi geregelt. Weiterhin si'nd durch das Fehlen 
eines Load Balancing Flags gegenseitige Abhangigkeiten 
10 zwischen den Lastzustanden und dem Load Balancing Flag 

eliminiert worden. Dadurch ist eine nachtragliche Anpassung 
des Algorithmus an veranderte Bedingungen leichter mbglich. 

Die lastabhangige Veranderung der Einzelregulatoren 
15 (Lastverteilungsfaktoren p i3 ) geschieht in Abhangigkeit von 
der Anzahl n der an der Lastverteilung beteiligten 
Prozessoren. Somit ist das Verfahren unabhangig von der 
Anzahl der beteiligten Prozessoren. 

20 Die lastabhangige Veranderung der Verteilungsquoten und der 

Einzelregulatoren pro Kontrollintervall geschieht so, daB ein 
zu langsames "Heranschleichen" an den optimalen Wert 
vermieden wird. 

25 Die lastabhangige Veranderung der Einzelregulatoren vermeidet 
ein Verharren der Werte auf die Einstellung der 
vorangegangenen Lastverteilungsperiode wahrend einer Periode 
ohne Lastverteilung. Es wird vielmehr auf eine 
Ausgangsstellung zurUckgeregelt . 



30 



Die aus dem Stand der Technik bekannte Tragheit in der 
Veranderung der Quoten wurde entfernt, um ein leichteres 
Nachfuhren an die tatsachlich vorliegende Lastsituation zu 
e rmo g 1 i chen . 



i Printed:08-02-2000| 



GR 99 P 1082 



EPO- Munich 
18 4e 

2 1. Jan, 1335 

Patentanspriiche Ja 



1. Verfahren zur Lastverteilung in einem 

Multiprozessorsystem, insbesondere in einem 
5 Multiprozessorsystem eines Kommunikat ions systems, bei 

dem anfallende Aufgaben von mehreren Prozessoren MPi 

(mit i=l,2, ,n) unter Realzeitbedingungen 

abgearbeitet werden konnen, mit folgenden iterativen und 
sich in Zeitintervallen CI wiederholenden 
10 Verf ahrensschritten: 

jeder Prozessor MPi ermittelt seinen tatsachlichen 
Lastzustand Y ± - bestimmt gegebenenf alls direkt 
hieraus einen mehrwertigen Laststatus (load state) 
MPlSi - und schatzt in Abhangigkeit von zuvor 
15 mitgeteilten Verteilungsquoten q± (alt) (mit qi=an 

andere Prozessoren MP k nach Moglichkeit zu 
verteilender Lastanteil) und dem typischerweise 
verteilbaren Anteil V einer typischen Aufgabe 
seine angebotene Last Ai, die zu einem mehrwertigen 
20 Lastindikationswert (Balancing Indicator) MPbi ± 

fuhrt, 

jeder Prozessor MPi teilt seinen 
Lastindikationswert MPbii den jeweils anderen 
Prozessoren MP k (mit k=l, 2 , . . - i-1 / i+1 / • - -n) 
25 mittelbar oder unmittelbar mit, 

jeder Prozessor MPi bestimmt seine 
Lastverteilungswahrscheinlichkeiten p i:J (mit 

j=l,2, n) in Abhangigkeit von den 

Lastindikationswerten MPbi* dieser anderen 

30 Prozessoren MPk/ 

jeder Prozessor MPi bestimmt seine Verteilungsquote 
qi(neu) in Abhangigkeit von seinem tatsachlichen 
Lastzustand Yi und den Lastverteilungsf aktoren PlJ 
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jeder Prozessor MPi verteilt anhand seiner Quote qi 
und seiner Lastverteilungsf aktoren pij seine 
verteilbare Last an andere Prozessoren MP k wenn 
seine Verteilquote qi(neu) einen vorgegebenen Wert 
5 q v uberschreitet - 

2. Verfahren gemaB dem voranstehenden Anspruch 1, dadurch 
gekennzeichnet, daB die geschatzte angebotene Last Ai 
eines Prozessors MPi nach der Formel Ai : =Yi/ ( l-q ± V) 

10 errechnet wird. ^) 

3. Verfahren gemafi einem der voranstehenden Anspruche, 
dadurch gekennzeichnet, daB der mehrwertige 
Lastindikationswert (balancing indicator) MPbi± drei 

15 diskrete Werte, vorzugsweise NORMAL (=0 bis 0,7), HIGH 

(=0,7 bis 0,85) und OVERLOAD (=0,85 bis 1) annehmen 
kann. 

4. Verfahren gemaB dem voranstehenden Anspruch 3, dadurch 
20 gekennzeichnet, daB der Lastindikationswert (balancing 

indicator) MPbi± beziiglich Anderungen einer Hysterese ^ 
unterliegt . 

5. Verfahren gemaB einem der voranstehenden Anspriiche, 
25 dadurch gekennzeichnet, daB der mehrwertige 

Laststatus (load state) MPlsi vier diskrete Werte, 
vorzugsweise NORMAL (=0 bis 0,7), HIGH (=0,7 bis 0,85), 
OVERLOAD (=0,85 bis 1) und EXTREME (wenn Laststatus 
iiber mehrere CI OVERLOAD) annehmen kann. 

30 

6. Verfahren gemaB dem voranstehenden Anspruch 3, dadurch 
gekennzeichnet, daB der Laststatus (load state) MPls ± 
beziiglich Anderungen einer Hysterese unterliegt. 
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7. Verfahren gemaB einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daft der Wert der 
tatsachlichen Last Yi proportional zur Prozessorlauf zeit 

5 ist . 

8. Verfahren gemaB einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daB als typischer 
verteilbarer Anteil V einer typischen Aufgabe CallP der 

10 durchschnittliche oder maximale Anteil ist. 

9. Verfahren gemaB dem voranstehenden Anspruch 8, dadurch 
gekennzeichnet, daB der durchschnittliche oder 
maximale Anteil einer typischen Aufgabe standig als 

15 gleitender Durchschnitt oder gleitender Maximalwert uber 

eine vorgegebene Zeitspanne t D ermittelt wird. 

10. Verfahren gemaB dem voranstehenden Anspruch 9, dadurch 
gekennzeichnet, daB fur die vorgegebene Zeitspanne t D 

20 gilt: t D » CI. 

11. Verfahren gemafi einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, daB als typische Aufgabe 
eine durchschnittliche oder maximale Aufgabe angenommen 

25 wird. 

12. Verfahren gemaB dem voranstehenden Anspruch 8, dadurch 
gekennzeichnet, daB die durchschnittliche oder 
maximale Aufgabe standig als gleitender Durchschnitt 

30 oder gleitender Maximalwert uber eine vorgegebene 

Zeitspanne t D ermittelt wird. 
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13. Verfahren gemaii dem voranstehenden Anspruch 12, dadurch 
gekennzeichnet , daii fur die vorgegebene Zeitspanne t D 
gilt: t D » CI. 

5 14. Verfahren gemafi einem der voranstehenden Anspruche, 

dadurch gekennzeichnet, daB fur den vorgegebenen Wert 
q v der Verteilquote qi, ab dem der Prozessor MPi 
verteilbare Last an andere Prozessoren MP k verteilt 
gilt: 0,05<q v <0,3, vorzugsweise 0,l<q v <0,25, 
10 vorzugsweise qv=0,2. 

15. Verfahren gemafl einem der voranstehenden Anspriiche, 
dadurch gekennzeichnet, dafi die Berechnung der 
Verteilquote q± die folgenden Kriterien erfullt: 

15 - Pii := 0 

falls MPbij einer mittlere Last entspricht, 

vorzugsweise MPb i j =NORMAL , gilt: 

Pij(neu) - pij (alt)+Pci/n, fur ...,n und i*j 

falls MPbij einer hohen Last entspricht, 
20 vorzugsweise MPbi 3 =HIGH gilt: 

Pij(neu) = pij (alt)-p c2 /n, fiir j=l, ...,n und i*j 
falls MPbij einer tJberlast entspricht, vorzugsweise 
MPb i j = OVERLOAD , gilt: 
p ±j (neu) = 0 

25 - wobei vorzugsweise die pij o-i, ,.,nj ^it der Summe p SU m 

der pij auf 1 normiert wird und 
als Initialisierungswert beim Beginn der 
Verteilungsprozesse alle p^, ausgenommen p i±/ 
gleich sind. 



30 



16. Verfahren gemafi dem voranstehenden Anspruch 15, dadurch 
gekennzeichnet, daB fur die Konstante p c i gilt: 



21-01-199?; ?EP99Jlp022ii A ,CLMS : 

GR 99 P 1082 



22 

0,l<Pci<0/5, vorzugsweise 0,2<p c i<0,3, vorzugsweise 
Pci=0,25. 

17. Verfahren gemaB einem der voranstehenden Anspruche 15- 

5 16, dadurch gekennz eichne t , daB fur die Konstante p c2 

gilt: 0,Kp C 2<0,5, vorzugsweise 0,2<p c2 <0,3, vorzugsweise 
p c2 =0,25. 

18. Verfahren gemaB einem der voranstehenden Anspriiche 15- 
^ 10 17, dadurch gekennz eichne t , daB der 

Initialisierungswert der pij beim Beginn der 
Verteilungsprozesse gleich (n-1)" 1 gesetzt wird. 

19. Verfahren gemaB einem der voranstehenden Anspruche 15- 
15 is, dadurch gekennz eichne t , daB die Berechnung der 

Lastindikationswerte MPbii die folgenden Kriterien 
erfullt: 

falls MPlSi der hbchsten Last entspricht, 
vorzugsweise MP 1 s i=EX TREME , gilt: 
20 qi(neu)=q c if 
O - falls Psum ^ 1 gilt: 

falls der tatsachliche Lastzustand Yi grofier 
als ein vorgegebener Wert threshold H ist, wird 
q ± vergrofiert mit qi=min{ qi+Cqi, 1 } / 
25 _ falls der tatsachliche Lastzustand Yi kleiner 

als ein vorgegebener Wert thresholdN ist, wird 
q ± verkleinert mit qi=max{ qi-c q2 , c q3 }, mit 
0<c q3 <q v , vorzugsweise c q 3=0,l, 
andernfalls (thresholds < Y± < thresholds 
30 erhalt qi einen Zwischenwert zwischen den 

beiden oben genannten Alternatives 
vorzugsweise durch lineare Interpolation 
falls p sum < 1 gilt: qi (neu)=qi (alt) * p S um- 
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Verfahren gemafi dem voranstehenden Anspruch 19, dadurch 

gekennzeichnet, dafi fur die Konstante c q i gilt: 

0, 05<c q i<0 / 3, vorzugsweise 0,1< c qi <0,2, vorzugsweise 

C q i = 0, 15. 

Verfahren gemafi einem der voranstehenden Ansprtiche 19- 
20, dadurch gekennzeichnet, dafi fur die Konstante c q2 
gilt: 0,05< c q2 <0,2, vorzugsweise c q2 =0,10. 



Verfahren gemafi einem der voranstehenden Ansprtiche 19- 

21, dadurch gekennzeichnet, dafi fur die Konstante 
threshold,* gilt: 0,6 < threshold N < 0,8, vorzugsweise 
thresholds =0,7. 

Verfahren gemafi einem der voranstehenden Ansprtiche 19- 

22, dadurch gekennzeichnet, dafi ftir die Konstante 
threshold H gilt: 0,7 < threshold H < 0,95, vorzugsweise 
threshold H =0,85 

Verfahren gemafi einem der voranstehenden Ansprtiche, 



dadurch gekennzeichnet, dafi zusatzlich ein 
Oberlastwert OLi der Prozessoren MP ± ermittelt wird, der 
ein Mafi fur die Grofie der Uberlast ist, mit OLi=0, 1, . . -m 
und die Verteilquote qi auf jeden Fall vergrofiert wird, 
falls OLi>0 mit qi (neu) :=min{ qi (alt ) +c q i, 1 } . 

Multiprozessorsystem, insbesondere eines 

Kommunikationssys terns, mit mehreren Prozessoren MPi (mit 

1=1,2, ,n) zur Ausftihrung anfallender Aufgaben unter 

Realzeitbedingungen, wobei : 

jeder Prozessor MPi Mittel aufweist, um seinen 
tatsachlichen Lastzustand Y ± zu bestimmen, - 
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gegebenenfalls direkt hieraus einen mehrwertigen 
Laststatus (load state) MPlsi zu bestimmen - und in 
Abhangigkeit von zuvor mitgeteilten 
Verteilungsquoten qi (alt) (mit qi=an andere 
5 Prozessoren MP k nach Moglichkeit zu verteilender 

Lastanteil) und dem typischerweise verteilbaren 
Anteil V einer typischen Aufgabe, seine angebotene 
Last Ai zu schatzen, die zu einem mehrwertigen 
Lastindikationswert (Balancing Indicator) MPbi± 

10 fuhrt, 

jeder Prozessor MPi Mittel aufweist, urn seinen 
Lastindikationswert MPbii den jeweils anderen 

Prozessoren MP* (mit k=l , 2 , . . . i-1 , i+1 , n) 

mittelbar oder unmittelbar mitzuteilen, 
15 _ jeder Prozessor MPi Mittel aufweist, urn seine 

Lastverteilungswahrscheinlichkeiten pij (mit 
j = l, 2, . . . -n) in Abhangigkeit von den 
Lastindikationswerten MPbi k dieser anderen 
Prozessoren MP* zu bestimmen, 
20 _ jeder Prozessor MPi Mittel aufweist, um seine 

Verteilquote qi(neu) in Abhangigkeit von seinem 
tatsachlichen Lastzustand Y± zu bestimmen, und 
jeder Prozessor MP ± Mittel aufweist, um anhand 
seiner Quote qi und seiner Lastverteilungsf aktoren 
25 Pi5 seine verteilbare Last an andere Prozessoren MP* 

zu verteilen, wenn seine Verteilquote qi (neu) einen 
vorgegebenen Wert q v uberschreitet . 



30 26. Multiprozessorsystem gemaB Anspruch 25, dadurch 

gekennzeichnet, dafi eines der Verfahren gemafi einem der 
Anspruche 1-24 implementiert ist. 
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Zusammenf as sung 

Lastverteilungsverfahren eines Multiprozessorsystems und 
Multiprozessor system 

5 Die Erfindung betrifft ein Verfahren zur Lastverteilung in 
einem Realzeit-Multiprozessorsystem und ein 
Multiprozessorsystem, wobei auf jedem Prozessor eine 
Verteilquote gefuhrt ward, die den Anteil der verteilbaren 
a 10 Last, der tatsachlich verteilt werden soil, festsetzt. Die 
Verteilquote wird in Zeitintervallen neu bestimmt. Die 
einzige Information, die jedes Zeitintervall von den anderen 
Prozessoren benotigt wird, sind Lastwertindikatoren, die von 
einer geschatzten Last abhangen. Zusatzlich werden 
15 Wahrscheinlichkeiten geftihrt, welche angeben, wie bei 

Lastverteilung Last von einem auf die anderen Prozessoren 
ubertragen wird. AnschlieBend verteilt jeder Prozessor anhand . 
seiner Verteilquote und seiner Lastverteilungsf aktoren seine 
verteilbare Last an andere Prozessoren, wenn seine 
20 Verteilquote einen vorgegebenen Wert uberschreitet . 

Figur 1 
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